فذهب الناس إليه ، فأقبلوا على السماع منه ، حتى ظهر الخلل في مجلس محمد بن يحيى ، قال : فتكلم فيه بعد ذلك " . وأثار عليه العامة ، وحرم على الناس مجالسته والاقبال عليه والسماع منه ، فكان يقول : " القرآن كلام الله غير مخلوق ، ومن زعم لفظي بالقرآن مخلوق فهو مبتدع ، ولا يجالس ، ولا يكلم ، ومن ذهب بعد هذا إلى محمد بن إسماعيل فاتهموه ، فإنه لا يحضر مجلسه إلا من كان على مذهبه " . ويشتد في عدائه فيقول : " لا يساكنني هذا الرجل في البلد " . وانقطع الناس عن البخاري إلا مسلم بن الحجاج وأحمد بن سلمة ، ويذكرون أن مسلم بن الحجاج عندما سمع هذا القول من الذهلي ، أخذ رداءه فوق عمامته ، وقام على رؤوس الناس ، فبعث إلى الذهلي جميع ما كان كتبه عنه على ظهر جمال . وبعد هذا خشي البخاري على نفسه من البقاء في نيسابور ، وخشي عليه أخلص الناس إليه من هذا ، ودخل عليه أحمد بن سلمة النيسابوري ، فقال : " يا أبا عبد الله ، إن هذا رجل مقبول بخراسان ، خصوصا في هذه المدينة ، وقد لج في هذا الامر حتى لا يقدر أحد منا ان يكلمه فيه ، فما ترى ؟ قال : فقبض على لحيته ، ثم قال : وأفوض أمري إلى الله إن الله بصير بالعباد ، اللهم إنك تعلم أني لم أرد المقام بنيسابور أشرا ولا بطرا ، ولا طلبا للرياسة ، وإنما أبت علي نفسي الرجوع إلى الوطن لغلبة المخالفين ، وقد قصدني هذا الرجل حسدا لما آتاني الله لا غير ، ثم قال : " يا أحمد إني خارج غدا ، لتخلصوا من حديثه لأجلي " .